我们提出了一个\下划线{d} oully \下划线{o} \下划线{s} afe- \ \ useverline {l} inline {l} inear- \ usew suespline {b}和doslb的问题。安全的线性匪徒问题是使用随机的强盗反馈和动作安全风险的动作来优化未知的线性奖励,同时满足动作的未知圆形安全限制。与先前在汇总资源约束方面的工作相反,我们的公式明确要求控制环形安全风险。与现有的对安全匪徒的乐观态度范式不同,DOSLB练习至高无上,使用对奖励和安全得分的乐观估计来选择动作。然而,令人惊讶的是,我们表明doslb很少采取风险的行动,并获得了$ \ tilde {o}(d \ sqrt {t})$遗憾,在这里,我们对遗憾的概念既说明效率低下又缺乏行动的安全性。我们首先尤其表明$ \ sqrt {t} $ - 即使有较大的差距也无法改善遗憾的绑定,然后确定我们显示紧密的实例依赖性$ O(\ log(\ log),也无法改善,我们首先表明$ \ sqrt {t} $ - 遗憾的界限也无法改善,我们首先表明$ \ sqrt {t} $ - ^2 t)$边界。我们进一步认为,在这样的域中,播放过度风险的动作的次数也被限制为$ o(\ log^2t)$。
translated by 谷歌翻译
在我们的框架中,一个对象由k个不同的零件或单位组成,我们通过推断k零件来解析测试实例,其中每个零件在特征空间中占据着不同的位置,并且该实例在此位置,表现为零件模板的主动子集在所有实例中共享。我们通过比较其活性模板及其零件位置的相对几何形状与所呈现的几个实例的相对几何形状来识别测试实例。我们提出了一种端到端训练方法,以在卷积主链上学习零件模板。为了打击视觉失真,例如方向,姿势和大小,我们学习多尺度模板,以及在测试时间分析和匹配这些量表的实例。我们表明,我们的方法与最先进的方法具有竞争力,并且由于解析也具有解释性。
translated by 谷歌翻译
我们为通过异质网络提供了一种新颖的培训配方,用于联合学习,每个设备都可以具有不同的体系结构。我们介绍了培训,并以较高复杂性的设备为附带目标,以在联合环境中共同培训不同的体系结构。我们从经验上表明,与最先进的方法相比,我们的方法改善了不同架构的性能,并导致沟通节省高。
translated by 谷歌翻译
在Imagenet或其他大规模数据数据上的预培训模型导致计算机愿景的主要进步,尽管伴随着与策划成本,隐私,使用权和道德问题相关的缺点。在本文中,我们首次研究了基于由图形模拟器生成的合成数据到来自非常不同的域的下游任务的培训模型的可转换性。在使用此类合成数据进行预培训时,我们发现不同任务的下游性能受到不同配置的不同配置(例如,照明,对象姿势,背景等),并且没有单尺寸适合 - 所有解决方案。因此,更好地将合成的预训练数据量身定制到特定的下游任务,以获得最佳性能。我们介绍Task2SIM,一个统一的模型将下游任务表示映射到最佳模拟参数,以为它们生成合成的预训练数据。 Task2SIM通过培训学习此映射,以查找一组“看到”任务上的最佳参数集。曾经训练过,它可以用于预测一个新颖的“看不见”任务的最佳仿真参数,而无需额外的培训。鉴于每级图像数量的预算,我们具有20个不同的下游任务的广泛实验,显示了Task2SIM的任务 - 自适应预训练数据导致明显更好的下游性能,而不是在看见和看不见的任务上的非自适应选择模拟参数。它甚至是竞争对手的真实图像的竞争力。
translated by 谷歌翻译
我们提出了一种用于分布式培训神经网络模型的新型联合学习方法,其中服务器在每轮中随机选择的设备的子集之间编制协作。我们主要从通信角度查看联合学习问题,并允许更多设备级别计算来节省传输成本。我们指出了一个基本的困境,因为当地 - 设备水平的最低实证损失与全球经验损失的最小值不一致。与最近的事先有关的不同,尝试无所作用的最小化或利用用于并行化梯度计算的设备,我们为每轮的每个设备提出动态规范器,以便在极限中,全局和设备解决方案对齐。我们通过实证结果对真实的和合成数据以及我们的方案在凸和非凸面设置中导致有效培训的分析结果,同时对设备异质性完全不可知,以及大量设备,部分参与和不平衡的数据。
translated by 谷歌翻译
近似任意凸起函数的任务是在诸如凸起回归的几个学习问题中,学习具有凸(DC)功能的差异,以及近似Bregman分歧。在本文中,我们展示了如何通过2块ADMM方法来解决广泛的凸函数学习问题,其中每个块的更新可以以封闭的形式计算。对于Convex Lipschitz回归的任务,我们建立了我们所提出的算法以$ o(n ^ 3 d ^ {1.5} + n ^ 2 d ^ {2.5} + nd ^ 3)$ for tata r x $ x \在r ^ {n \ times d} $。如果$ d = o(n ^ 4)$。此外,我们提供了类似的DC回归和Bregman发散学习的求解器。与以前的方法不同,我们的方法适用于GPU。我们展示了回归和度量学习实验,即我们的方法比现有方法快20倍,并产生与最先进的结果相当的结果。
translated by 谷歌翻译
许多工业和安全应用程序采用套件传感器,用于检测时间行为模式的突然变化。这些突然的变化通常在本地显现,只渲染一个小型传感器信息。由于资源约束,每个传感器的连续监视可能是昂贵的,并且作为强盗最快转换点检测问题的动机,其中顺序地选择感测动作(或传感器),并且仅观察到对应于所选动作的测量。我们在有限的有限参数化概率分布的一般类别的检测延迟上获得了一个信息 - 理论下限。然后,我们提出了一种计算上有效的在线传感方案,这无缝地平衡了对不同传感选项的需求,利用查询信息行动。我们推导出拟议方案的预期延误界限,并表明这些界限在低误报率下以低误报率下限,建立了所提出的方法的最优性。然后,我们对合成和实时数据集进行了许多实验,证明了我们提出的方法的有效性。
translated by 谷歌翻译
大多数现代无人监督域适应(UDA)方法源于域对齐,即,学习源和目标功能,使用源标签学习目标域分类器。在半监督域适应(SSDA)中,当学习者可以访问少量目标域标签时,先前的方法遵循UDA理论以使用域对齐进行学习。我们表明SSDA的情况是不同的,并且可以在不需要对齐的情况下学习良好的目标分类器。我们使用自我监督的预测(通过旋转预测)和一致性正则化来实现良好的分开的目标集群,同时在学习低误差目标分类器时。凭借我们预先推价和一致性(PAC)方法,我们在该半监控域适应任务上实现了最新的目标准确性,超过了多个数据集的多个对抗域对齐方法。 PAC,同时使用简单的技术,对DomainNet和Visda-17等大而挑战的SSDA基准进行了非常好的,通常通过相当的边距来表现最近的艺术状态。我们的实验代码可以在https://github.com/venkatesh-saligrama/pac找到
translated by 谷歌翻译
The blind application of machine learning runs the risk of amplifying biases present in data. Such a danger is facing us with word embedding, a popular framework to represent text data as vectors which has been used in many machine learning and natural language processing tasks. We show that even word embeddings trained on Google News articles exhibit female/male gender stereotypes to a disturbing extent. This raises concerns because their widespread use, as we describe, often tends to amplify these biases. Geometrically, gender bias is first shown to be captured by a direction in the word embedding. Second, gender neutral words are shown to be linearly separable from gender definition words in the word embedding. Using these properties, we provide a methodology for modifying an embedding to remove gender stereotypes, such as the association between between the words receptionist and female, while maintaining desired associations such as between the words queen and female. We define metrics to quantify both direct and indirect gender biases in embeddings, and develop algorithms to "debias" the embedding. Using crowd-worker evaluation as well as standard benchmarks, we empirically demonstrate that our algorithms significantly reduce gender bias in embeddings while preserving the its useful properties such as the ability to cluster related concepts and to solve analogy tasks. The resulting embeddings can be used in applications without amplifying gender bias.
translated by 谷歌翻译
Real-world datasets exhibit imbalances of varying types and degrees. Several techniques based on re-weighting and margin adjustment of loss are often used to enhance the performance of neural networks, particularly on minority classes. In this work, we analyze the class-imbalanced learning problem by examining the loss landscape of neural networks trained with re-weighting and margin-based techniques. Specifically, we examine the spectral density of Hessian of class-wise loss, through which we observe that the network weights converge to a saddle point in the loss landscapes of minority classes. Following this observation, we also find that optimization methods designed to escape from saddle points can be effectively used to improve generalization on minority classes. We further theoretically and empirically demonstrate that Sharpness-Aware Minimization (SAM), a recent technique that encourages convergence to a flat minima, can be effectively used to escape saddle points for minority classes. Using SAM results in a 6.2\% increase in accuracy on the minority classes over the state-of-the-art Vector Scaling Loss, leading to an overall average increase of 4\% across imbalanced datasets. The code is available at: https://github.com/val-iisc/Saddle-LongTail.
translated by 谷歌翻译